LatentOmni: Rethinking Omni-Modal Understanding via Unified Audio-Visual Latent Reasoning
LatentOmni：统一音视频潜在推理的全模态理解框架
🧭 统一潜在空间的音视频联合推理
Shanghai Jiao Tong University · Kuaishou Technology · Peking University · HKUST · CASIA
提出在潜在空间进行音视频联合推理，保留连续感知信息，通过特征级对齐与时序同步，超越显式文本思维链。
📌 工作参考价值（4 点）
- 潜在空间推理可用于多模态内容理解：电商直播、视频评论等场景中，可直接在连续潜在空间融合音视频信息进行推理，避免先转文本带来的信息压缩和时序错位，可用于商品属性校对、演示合规检测等。
- 特征级监督对齐任务相关信号：在训练多模态推荐或Agent模型时，可借鉴其feature-level supervision让潜在表示直接与目标任务（如动作定位、事件检测）所需的细粒度特征对齐，提升下游任务精度。
- Omni-Sync Position Embedding（OSPE）保持时序一致性：该位置编码方法可应用于处理同步的音视频流，如直播切帧与语音的精确对齐、跨模态时序 grounding，适用于视频理解、虚拟主播驱动等。
- 构建交织推理轨迹数据：LatentOmni-Instruct-35K的构造思路可用于生成电商场景的多模态思维链数据，监督模型学习在潜在空间中混合文本和感知状态进行逐步推理。